---
title: 负载均衡
---

模型速率限制（Rate limits）是模型厂商对用户或客户在指定时间内访问 API 服务次数所添加的限制。它有助于防止 API 的滥用或误用，有助于确保每个用户都能公平地访问 API，控制基础设施的总体负载。

在企业级大规模调用模型 API 时，高并发请求会导致超过请求速率限制并影响用户访问。负载均衡可以通过在多个 API 端点之间分配 API 请求，确保所有用户都能获得最快的响应和最高的模型调用吞吐量，保障业务稳定运行。

你可以在 **模型供应商 -- 模型列表 -- 设置模型负载均衡** 打开该功能，并在同一个模型上添加多个凭据 (API key)。

![模型负载均衡](https://assets-docs.dify.ai/dify-enterprise-mintlify/zh_CN/guides/model-configuration/c2781fddfb5c7e76023ac59c926d9e37.png)

<Info>
模型负载均衡为付费特性，你可以通过[订阅 SaaS 付费服务](../../getting-started/cloud.md#ding-yue-ji-hua)或者购买企业版来开启该功能。
</Info>

默认配置中的 API Key 为初次配置模型供应商时添加的凭据，你需要点击 **增加配置** 添加同一模型的不同 API Key 来正常使用负载均衡功能。

![配置负载均衡](https://assets-docs.dify.ai/dify-enterprise-mintlify/zh_CN/guides/model-configuration/cbf2149eb7fcf613599f50ff58381889.png)

**需要额外添加至少 1 个模型凭据**即可保存并开启负载均衡。

你也可以将已配置的凭据**临时停用**或者**删除**。

![](https://assets-docs.dify.ai/dify-enterprise-mintlify/zh_CN/guides/model-configuration/8012d5be22981efe0e59b81f32a961fe.png)

配置完成后再模型列表内会显示所有已开启负载均衡的模型。

![开启负载均衡](https://assets-docs.dify.ai/dify-enterprise-mintlify/zh_CN/guides/model-configuration/f69088f1f5a176aa0819a68950ac595c.png)

<Info>
默认情况下，负载均衡使用 Round-robin 策略。如果触发速率限制，将应用 1 分钟的冷却时间。
</Info>

你也可以从 **添加模型** 配置负载均衡，配置流程与上面一致。

![从添加模型配置负载均衡](https://assets-docs.dify.ai/dify-enterprise-mintlify/zh_CN/guides/model-configuration/12970502b2e202d1f890dcecadf2dcbd.png)

{/*
Contributing Section
DO NOT edit this section!
It will be automatically generated by the script.
*/}

<CardGroup cols="2">
    <Card
        title="编辑此页面"
        icon="pen-to-square"
        href="https://github.com/langgenius/dify-docs-mintlify/edit/main/zh-hans/guides/model-configuration/load-balancing.mdx"
    >
        通过直接提交修改来帮助改进文档内容
    </Card>
    <Card
        title="提交问题"
        icon="github"
        href="https://github.com/langgenius/dify-docs-mintlify/issues/new?title=文档问题%3A%20balanc&body=%23%23%20问题描述%0A%3C%21--%20请简要描述您发现的问题%20--%3E%0A%0A%23%23%20页面链接%0Ahttps%3A%2F%2Fgithub.com%2Flanggenius%2Fdify-docs-mintlify%2Fblob%2Fmain%2Fzh-hans/guides/model-configuration%2Fload-balancing.mdx%0A%0A%23%23%20建议修改%0A%3C%21--%20如果有具体的修改建议，请在此说明%20--%3E%0A%0A%3C%21--%20感谢您对文档质量的关注！%20--%3E"
    >
        发现错误或有改进建议？请提交问题反馈
    </Card>
</CardGroup>
